SoSe2021

Folienübersicht

Schätzverfahren

Von der Stichprobe zur Grundgesamtheit

Merkmal Kennwert Parameter
Mittelwert \(\bar{X}\) \(\mu\) (mü)
Varianz \(s^2\) \(\sigma^2\) (sigma-qu.)
Standardabweichung \(s\) \(\sigma\) (sigma)
Korrelation \(r\) \(\rho\) (rho)
Anteilswert \(h\) bzw. \(p\) \(\pi\) (pi)
  • In der deskriptiven Statistik sind Kennwerte (‘sample statistic’) exakt bestimmbar → sie beziehen sich nur auf die Stichprobe.
  • In der inferenziellen Statistik wollen wir von den Kennwerten der Stichprobe auf die Parameter der Grundgesamtheit schließen.
  • Stichprobenkenngrößen werden in der Inferenzstatistik als Zufallsvariable aufgefasst (da abhängig von zufällig gezogenen Stichprobe)
    • sie schwanken zufällig, aber zumindest um den ‘wahren’ Wert der Population.

Schätzfunktionen

  • sind die Basis zur Berechnung von Punktschätzungen und zur Bestimmung von Konfidenzintervallen mittels Intervallschätzern.
  • werden als Teststatistiken in Hypothesentests verwendet.

Punktschätzer

  • geben Näherungswert für gesuchten Populationsparameter.
  • meist mit Angabe eines Maß für den Schätzfehler
  • Beispiel:
    • Erwartungswert
    • Varianz
    • prozentuale Anteile
    • andere Verteilungsparameter (Median,.)
    • Regressionsparameter

Intervallschätzern

  • geben Bereich an (das Konfidenzintervall), in dem der gesuchte Populationsparameter mit gewissen Wahrscheinlichkeit (also mit einer gewissen Konfidenz) liegt.

Punktschätzung

Wie funktioniert das?

  • Damit Stichprobenkennwerte als Punktschätzer genutzt werden können, müssen sie ‘erwartungstreu’ sein, d.h. keinen systematischen Fehler enthalten.
    • → Dann entspricht z.B. der Mittelwert der Stichprobenverteilung (=Erwartungswert \(E(\bar{x})\)) dem Populationsmittelwert → und dann ist auch \(\bar{x}\) ein guter Schätzer für \(\mu\).

Stichprobenverteilung

Zur Erinnerung (CLT)

Stichprobenverteilung

Einflussgrößen

Die Stichprobenverteilung ist abhängig von

  • der Verteilung des Merkmals in der Population.
  • der Größe der Stichprobe (N).
  • dem Typ des Kennwerts.
  • der Art der Stichprobe (repräsentativ oder nicht).

Verteilung der Mittelwerte bei unterschiedlichem N

Punktschätzung

Mittelwert

Beispiel mit \(\mu = 120\text{mm}\)

  • Bei 1000 Proben mit N = 5 ist Mittelwert der Stichprobenverteilung: \[E(\bar{x}) = 119.97 \text{mm}\]

Punktschätzung

Varianz

Beispiel mit \(\sigma^2 = 2500\)

  • Mittelwert der Varianzverteilung meist kleiner als ‘wahre’ Varianz → enthält weniger sehr unwahrscheinliche oder extreme Werte (BIAS)
  • Lösung → mit Korrekturfaktor n/(n-1) multiplizieren:

\[\hat{\sigma}^2 = s^2\frac{n}{n-1} \Rightarrow E(\hat{\sigma}^2)=\sigma^2\] \[\hat{\sigma}^2=\frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n}\cdot\frac{n}{n-1}=\frac{\sum_{i=1}^{n}(X_i-\bar{X})^2}{n-1}\]

  • Die R Funktion var() und die Excel/Calc Funktion =VARIANZ() berechnen die korrigierte Varianz.
  • Bei Excel/Calc gibt es auch die Funktion =VAR.P() für die unkorrigierte Varianz.

Standardschätzfehler

  • Die Genauigkeit der Punktschätzung sollte immer angegeben werden. Das Maß dafür ist der Standardfehler des Schätzers.
  • Je kleiner der Standardschätzfehler, desto größer ist Effizienz des Schätzers.
  • Der Standardfehler eines Kennwerts entspricht der Standardabweichung der Stichprobenkennwerteverteilung.
  • Der wichtigste ist der Standardfehler des Schätzers des Mittelwerts → wird beeinflusst durch die (geschätze) Populationsvarianz und Stichprobengröße:

Mittelwert

\[\hat{\sigma}_{\bar{X}}=\sqrt\frac{\hat{\sigma}^2}{n}\]

Median

\[\hat{\sigma}_{Md}=1.25\sqrt\frac{\hat{\sigma}^2}{n}\]

Standardabw.

\[\hat{\sigma}_{s}=\sqrt\frac{\hat{\sigma}^2}{2n}\]

Prozentwert

\[\hat{\sigma}_{\%}=\sqrt\frac{P\cdot Q}{n}\]

Konfidenzintervalle (KI)

Ausgangsfrage

  • Wie präzise ist diese Schätzung von 117mm?
  • Kann es denn sein, dass der wahre Populationsmittelwert auch 100mm oder 140mm ist und wir einfach Pech mit der Probe hatten?
  • In welchem Bereich liegt der wahre Mittelwert höchstwahrscheinlich?

Diese Fragen kann ein Punktschätzer nicht beantworten – aber ein Intervallschätzer!

Intervallschätzung

1

Übersicht

  • Auf Basis einer Zufallsprobe wird der Bereich geschätzt, wo der gesuchte Populationsparameter liegen könnte.
  • Ausgangspunkt ist immer eine Punktschätzung → dann wird ein (symmetrisches) Intervall bestimmt, das Konfidenzintervall KI
  • Konfidenz wird als wiederholte Stichprobe interpretiert.
  • Kann für jeden Parameter (z.B. Mittelwert, Varianz, Korrelationskoeffizient) berechnet werden.
  • Die Breite des Intervalls hängt ab
    • vom Stichprobenumfang, der Varianz der Stichprobe und
    • der festgelegten Wahrscheinlichkeit (= Konfidenzniveau) → üblich: 90%, 95%, 99%
  • Gegenwahrscheinlichkeit \(\alpha\) = Fehler, den wir bereit sind einzugehen.
    • Bei einem Konfidenzniveau von 95% ist \(\alpha = 1-0.95 = 0.05~~\text{bzw.} ~~5\%\).

Intervallschätzung

2

Konfidenzintervall

  • KIs sind immer 2-seitig da Parameter immer größer oder kleiner als der Kennwert sein können: 95% => 2.5% auf beiden Seiten.
  • Grundsätzlich gilt: je höher die Konfidenz, desto breiter das Intervall.
  • Zur Berechnung des KI wird der Standardfehler mit einer geeigneten statistischen Verteilung kombiniert, z. B.
    • z und t für Mittelwerte,
    • \(\chi^2\) für Varianzen.

Im folgenden gehen wir drei Beispiele für die Konfidenzintervalle des Mittelwerts durch.

Konfidenzintervalle beruhend auf der Normalverteilung

n > 30

  • Beruht auf einer Umstellung der Definition von Z. Nach dem zentralen Grenzwertsatz gilt für große Stichproben:
    • Der Bereich zwischen \(\mu\) und ± 1.96 mal dem Standardfehler enthält 95% aller Stichprobenmittelwerte.
    • Umkehrschluss: \(\mu\) ist in 95% aller Fälle nicht mehr als 1.96 Standardfehler vom Stichprobendurchschnitt entfernt: \(KI_{95\%} = \bar{X} \pm 1.96\sqrt\frac{\sigma2}{n}\)

Allgemeine Formel für ein beidseitiges Konfidenzintervall

(wenn die Populationsvarianz bekannt ist und eine Normalverteilung unterstellt werden kann)

\[KI_{95\%} = z_{\alpha/2}\cdot\sqrt\frac{\sigma^2}{n} \Rightarrow P \{\bar{X}-z_{\alpha/2}\cdot\sqrt\frac{\sigma^2}{n}<\mu<\bar{X}+z_{\alpha/2}\cdot\sqrt\frac{\sigma^2}{n}\} = 0.95\]

Bei \(KI_{90\%}\) ist \(z_{\alpha/2}=1.65\), bei \(KI_{95\%}\) ist \(z_{\alpha/2}=1.96\), bei \(KI_{99\%}\) ist \(z_{\alpha/2}=2.58\)

Konfidenzintervalle beruhend auf der t-Verteilung

n > 30

  • Die Normalverteilung kann nur verwendet werden bei großen Stichproben und wenn die Populationsvarianz bekannt ist. Meist ist dies nicht der Fall.
  • Alternative: Multiplikation des Standardfehler des Stichprobenmittelwerts mit dem t-Wert.
  • Zuerst über Formal \(t=\frac{\bar{X}-\mu}{S / \sqrt{n}}\) den t -Wert berechnen und dann (in der Tabelle oder mit R) \(t_{krit}\) und den p-Wert bestimmten.

Allgemeine Formel für ein beidseitiges Konfidenzintervall

\[KI_{95\%} = t_{(\alpha,df)}\sqrt{\frac{s^2}{n}} \Rightarrow P \{\bar{X}-t_{(\alpha,df)}\leq \mu \leq \bar{X}+t_{(\alpha,df)}\} = 0.95\] (df = degrees of freedom: n-1)

Berechnung in R: Große Stichprobe

Beispiel Blattlänge

\(\mu = 120\text{mm}\), \(\sigma = 50\text{mm}\)

# Population
pop <- rnorm(10000000, 
  mean = 120, sd = 50)
# Stichprobe
big_sample <- sample(pop, 
  size = 500)

→ Wir sind zu 95% sicher, dass der wahre Mittelwert im Bereich 115 - 123.5 liegt (119.2 ± 4.3).

Normalverteilung bei N = 500

(big_mean <- mean(big_sample))
[1] 119.2477
(big_se <- sd(big_sample)/sqrt(500))
[1] 2.169662
(z_lower <- qnorm(p = 0.025, mean = 0, sd = 1))
[1] -1.959964
(z_upper <- qnorm(p = 0.975, mean = 0, sd = 1))
[1] 1.959964
(CI_lower <- z_lower*big_se)
[1] -4.25246
(CI_upper <- z_upper*big_se)
[1] 4.25246

Berechnung in R: Kleine Stichprobe

Beispiel Blattlänge

\(\mu = 120\text{mm}\), \(\sigma = 50\text{mm}\)

# Population
pop <- rnorm(10000000, 
  mean = 120, sd = 50)
# Stichprobe
small_sample <- sample(pop, 
  size = 5)

→ Wir sind zu 95% sicher, dass der wahre Mittelwert im Bereich 33.8 - 125.5 liegt (79.6 ± 45.9).

t-Verteilung bei N = 5

(small_mean <- mean(small_sample))
[1] 79.62948
(small_se <- sd(small_sample)/sqrt(5) )
[1] 16.51951
(t_lower <- qt(p = 0.025, df = 4)) # df=n-1
[1] -2.776445
(t_upper <- qt(p = 0.975, df = 4))
[1] 2.776445
(CI_lower <- t_lower*small_se)
[1] -45.8655
(CI_upper <- t_upper*small_se)
[1] 45.8655

Berechnung in R: Kleine Stichprobe

Beispiel Blattlänge

Berechnung von \(t_{(\alpha,df)}\) mittels t-Tabelle

Irrtumswahrscheinlichkeit für den zweiseitigen Test.
FG 0.5 0.2 0.1 0.05 0.025 0.01 0.005 0.002 0.001
1 1.000 3.078 6.314 12.706 25.452 63.657 127.321 318.309 636.619
2 0.816 1.886 2.920 4.303 6.205 9.925 14.089 22.327 31.599
3 0.765 1.638 2.353 3.182 4.177 5.841 7.453 10.215 12.924
4 0.741 1.533 2.132 2.776 3.495 4.604 5.598 7.173 8.610
5 0.727 1.476 2.015 2.571 3.163 4.032 4.773 5.893 6.869
10 0.700 1.372 1.812 2.228 2.634 3.169 3.581 4.144 4.587
15 0.691 1.341 1.753 2.131 2.490 2.947 3.286 3.733 4.073
20 0.687 1.325 1.725 2.086 2.423 2.845 3.153 3.552 3.850
30 0.683 1.310 1.697 2.042 2.360 2.750 3.030 3.385 3.646
40 0.681 1.303 1.684 2.021 2.329 2.704 2.971 3.307 3.551

Your turn …

Quiz: Vergleiche die Konfidenzintervalle

Wie groß ist das \(KI_{95\%}\) beim Zugverhalten verschiedener Vogelarten (von Skandinavien)?

Buchfink

Grünfink

Mönchsgrasmücke
Kenngröße Buchfink Grünfink Mönchsgrasmücke
Mittelwert 1800km 1950km 3000km
Standardabweichung s ±900km ±400km ±1000km
Stichprobengröße n 20 10 30

Quiz: Breite der 95%-Konfidenzintervalle

Kenngröße Buchfink Grünfink Mönchsgrasmücke
Mittelwert 1800km 1950km 3000km
Standardabweichung s ±900km ±400km ±1000km
Stichprobengröße n 20 10 30

p

Visualisierung von KI

Unterscheiden sich verschiedene Vogelarten von Skandinavien in der mittleren Entfernung ihrer Zugdistanzen?

  • → Wenn das 95% Konfidenzintervall (KI) der einen Stichprobe das KI der anderen nicht beinhaltet, kann man schlussfolgern, dass sich die Mittelwerte voneinander unterscheiden.

Bootstrapping oder die ‘Schnürsenkelmethode’

Nicht-parametrische KIs

  • Nützliche Methode wenn Verteilung nicht einer theoretischen Verteilung entspricht (z.B. der z- und t-Verteilung).
  • Prinzip:
    1. Die Verteilung der Stichprobe dient als Grundlage einer ‘Pseudopopulation’.
    2. Aus dieser ‘Pseudopopulation’ entnehmen wir wiederholt Stichproben und berechnen jeweils die Kenngröße.
    3. Da Stichprobenumfang meist limitiert ist, werden Proben mit Rücklegen entnommen (somit unendlich groß).
    4. Aus der Grundgesamtheit der Kennwerte (z.B. der Mittelwerte) berechnen wir das untere und obere 2.5% (oder 0.5%,..) Quantil als unsere Konfidenzgrenze.
  • Ergebnisse sind recht zuverlässig und mit Computern schnell umzusetzen.
  • Die KI sind nicht unbedingt symmetrisch.

Bootstrapping

Beispiel

Die Population

mean(population)
[1] 112.0038

Die Stichprobe

x <- sample(population, 20)
mean(x)
[1] 111.8842
hist(x, main = "Stichprobe (N=20)")

Bootstrapping

Berechnung

Schritt 1-3: Die Schleife

it <- 10000 # 10000 Iterationen
sm <- numeric(it) 
for (i in 1:it){
  xs <- sample(x, replace = T) 
        # (N auch 20)
  sm[i] <- mean(xs)
}

Schritt 4: Die Quantilen = KI

# 2.5% und 97.5% Quantilen = 95% Konfidenzgrenzen:
quantile(x = sm, probs = c(0.025, 0.975))
    2.5%    97.5% 
111.4535 112.3710 
# KI:
quantile(sm, c(0.025, 0.975)) - mean(x) 
      2.5%      97.5% 
-0.4306154  0.4868308 
# Vergleich zum (symmetrischen) t-basierten KI
qt(p = 0.975, df = 19)*(sd(x)/sqrt(20))
[1] 0.503608

Berechnung des Stichprobenumfangs N

Bei normalverteilten Daten lässt sich die Formel zur Berechnung des KI des Mittelwerts nach der Stichprobe umformen:

  • \(E = z_{\alpha/2}\sqrt\frac{\sigma^2}{n}\)
  • \(\Rightarrow~n=(\frac{z_{\alpha/2}\cdot\sigma}{E})^2\)

(E ist der maximale Schätzfehler)

Beispiel: Zugverhalten des Buchfink

Wie groß muss N sein, damit wir zu 99% sicher sind, das der wahre Mittelwert im Bereich ±25km (=E) um den Stichprobenmittelwert liegt?

  • Durch die vorherige Studie wissen wir \(\sigma = 900\text{km}\);
  • Wenn \(\alpha = 0.01\), dann \(z_{\alpha/2}=2.58\)

\(n=(\frac{z_{\alpha/2}\cdot\sigma}{E})^2=(\frac{2.58\cdot 900}{25})^2 = 8599\)

z_alpha_2 <- qnorm(p = 0.995, 0, 1)
E <- 25
s <- 900
(z_alpha_2*s / E)^2
[1] 8598.826

Fragen?